华中科技大学伍冬睿教授团队关于生理计算中的对抗攻击与防御综述
生理计算使用人类的生理数据作为系统的实时输入。其包括或者与脑机接口、情感计算、自适应自动化、健康信息学以及基于生理信号的生物识别等领域高度重合。生理计算增加了从用户到计算机的通信带宽,但也易受各种类型的对抗攻击,其中攻击者故意操纵训练和/或测试样例来劫持机器学习算法的输出,可能导致用户困惑、受挫、受伤甚至死亡。然而,生理计算系统的脆弱性没有得到足够的重视,并且学界目前不存在针对生理计算领域的对抗攻击的综述。本文系统性综述了生理计算主要研究领域、不同类型的对抗攻击、其在生理计算上的应用以及相应的防御措施,从而填补了这一空白。希望本综述能吸引更多关于生理计算系统脆弱性的研究兴趣,更重要的是,能让更多人关注并投入使生理计算系统更加安全的防御策略的研究。
引言
研究人员提出了一种基于深度学习模型的运动想象脑机接口(BCI)。运动想象的脑动力学通常通过EEG作为低信噪比的非平稳时间序列进行测量。研究人员经过调研发现,以往对MI-EEG信号进行分类的方法,由于缺乏时频特征,分类效果不是很理想。在该项研究中,研究人员采用离散小波变换(DWT)对脑电信号进行变换,并提取其有效系数作为时频特征。然后采用长-短期记忆(LSTM)和门控递归神经网络(GRNN)两种深度学习模型对MI-EEG数据进行分类。
键盘和鼠标、以及最近兴起的触摸屏,可能是用户向计算机发送命令的最常用手段。然而,它们传达的关于用户心理状态的信息,如认知、动机、情感等,非常少,而这些信息在智能技术的发展中也非常重要[22]。例如,在情感方面,人工智能先驱 Marvin Minsky 早在20世纪80年代就指出[57] "the question is not whether intelligent machines can have any emotions, but whether machines can be intelligent without emotions."
生理计算[37]是 "the use of human physiological data as system inputs in real time." 它通过使用从用户到计算机的额外信道[22],拓展了人机交互的带宽,这是自适应和相互协作的人机共生所必需的。
常见的生理计算领域的生理数据包括头皮脑电图(EEG)、皮层脑电图(ECoG)、心电图(ECG)、眼电图(EOG)、肌电图(EMG)、眼球运动、血压(BP)、皮肤电活动(EDA)、呼吸(RSP)、皮肤温度等,这些都是人类的生理过程产生的数据记录。它们的典型测量位置如图1所示。这些信号在各种应用中得到了广泛的研究,包括但不限于生理计算领域,如表I所示。
图1.生理计算中的常见信号及其典型测量位置
生理信号通常是单通道或多通道的时间序列,如图2所示。在许多临床应用中,生理信号记录可能持续数小时、数天,甚至更长时间。例如,用于癫痫诊断的长期视频脑电图监测可能需要24小时,在重症监护病房(ICUs)的心电图监测可能持续数天或数周。可穿戴式心电监测设备,如iRythm Zio Patch、AliveCor KardiaMobile、Apple Watch、Huawei Band等,正在被数以百万计的用户使用。在这些过程中,大量的生理信号被收集。考虑到可穿戴设备的庞大用户群,手工标记这些信号是非常费力的, 甚至是不可能的。
图2. 生理计算中常见信号的例子及其典型的测量设备
机器学习[82]可自动分类测量到的生理信号,能缓解这一问题。其中,深度学习在脑电图分类方面表现突出[69],如EEGNet[47]、DeepCNN[73]、ShallowCNN[73]和TIDNet[44]用于EEG分类,SeizureNet用于基于EEG的癫痫识别[5],CNN用于ECG节律分类[28],ECGNet用于基于EEG的精神压力监测[36]等。
然而,最近的研究表明,传统的机器学习和深度学习模型容易受到各种攻击[27,56,67,77]。例如,Chen等[14]将含太阳镜的污染样本注入训练集,从而使所有包含太阳镜的图片都会被分类为目标类,成功地在目标模型中创建了一个后门。Eykholt等[21]将精心制作的涂鸦粘贴在道路标志上,并使模型将"停车"分类为"限速40"。Finlayson等[23,24]成功地实现对深度学习分类器跨越三个临床应用领域(眼底镜、胸部X光片和皮肤镜)的对抗攻击。Rahman等[68]对6种COVID-19相关应用进行了对抗性攻击,包括识别实验对象是否佩戴口罩、是否拥有基于深度学习的二维码作为免疫证书、从CT扫描或X光图像中辨别COVID-19等。Ma等[50]表明,医学上深度学习模型比针对自然图像的模型更容易受到对抗攻击,但令人惊讶和幸运的是,医学上的对抗攻击也较容易检测。Kaissis等[40]指出,除了对抗性攻击,医学图像领域也存在各种各样其他的攻击手段。该团队呼吁通过安全、隐私保护和联邦机器学习来解决这些潜在的问题。
生理计算中的机器学习模型也不能幸免于对抗攻击[42,43,89]。然而,就我们所知,目前并不存在系统性地关于生理计算中的对抗攻击综述。本篇论文全面调研不同类型的对抗攻击及其在生理计算上的应用和可能的防御策略,填补了这一空白,对生理计算系统在实际生活中应用的安全性有重要意义。
需要强调的是,本文的重点是新兴的对抗性攻击和防御。其他类型的攻击和防御,例如网络安全,读者可以参考其他文献,例如[6]。
本文的其余部分结构如下:第II节介绍了生理计算中五个相关研究领域,第III节介绍了不同类别的对抗攻击,第IV节描述了针对生理计算系统的多种对抗攻击,第V节介绍了防御对抗攻击的不同方法及其在生理计算中的应用。最后,第VI节进行了总结和展望。
生理计算
生理计算包含,或者与这些领域高度重合:与脑机接口(BCI)、情感计算、自适应自动化、健康信息学、基于生理信号的生物辨识技术。
II.A 脑机接口
BCI系统建立了大脑和外部设备 (例如计算机或机器人) 之间直接的通信通道[46]。头皮脑电和颅内脑电已广泛应用于BCIs[82]。
图3给出了一个基于脑电的闭环脑机接口系统流程图。脑电信号采集后,通常通过包括时域滤波和空域滤波的信号处理来增强信噪比。机器学习的目标是理解脑电信号的含义,从而产生控制命令发送到外部设备。
图3. 基于脑电图的BCI闭环系统流程图
基于脑电的BCI拼写器可能是唯一适用于肌萎缩性侧索硬化症(ALS)患者与外界交流的非肌肉型通讯设备[74]。在癫痫治疗中,反应性神经刺激(RNS)[26,31]识别发作前的ECoG或颅内EEG模式,以及提供高频刺激脉冲来阻止癫痫发作,从而改善患者生活质量。
II.B 情感计算
情感计算是"computing that relates to, arises from, or deliberately influences emotion or other affective phenomena"[64]。
在基于生理反馈的放松训练中[15],EDA可用于检测用户的情感状态,在此基础上放松训练的应用可以为用户提供明确的反馈来学习如何改变他/她的生理活动,从而改善健康状况。在软件适配过程中[3],图形界面、难度级别、音效和/或内容可以根据从各种生理信号中估计的用户实时情绪自动调整,使用户更有参与感。
II.C 自适应自动化
自适应自动化在适当的水平上保持了任务工作量的需求,以避免低负荷和超负荷,从而提高了人机系统的整体性能和安全性[4]。在空中交通管理系统[4]中,操作员的EEG信号可被用来估计脑力负荷,并触发具体自适应自动化解决方案。这可以显著减少操作员在高负荷下的工作量,并提高任务执行性能。研究[18]也显示由眼动追踪测量的瞳孔直径和注视时间可以作为脑力负荷的指示器,从而触发自适应自动化。
II.D 健康信息学
健康信息学研究医疗领域中的信息、交流过程和系统[16]。
从AliveCor个人心电监护仪收集的单导联短心电图记录(9-60秒),可通过卷积神经网络(CNN)对正常窦性心律、房颤、替代心律或噪声进行分类,对前三类[32]的平均检测准确率为88%。最近的一项研究[58]还表明,消费级智能手表(如苹果、Fitbit和Garmin设备)的心率数据可用于COVID-19症状前检测,有时可以提前9天或更早。
II.E 基于生理信号的生物识别
基于生理信号的生物识别[75]将生理信号用于生物识别,例如,对一个人进行数字识别来授权访问系统、设备或数据。
EEG[30]、ECG[1]、PPG[86]和多模态生理信号[8]已被用于用户识别和认证。这些信号具有通用性、持久性、活性检测、持续认证等优点。
对抗攻击
对抗攻击有不同的分类[56,57],如图4所示。
图4. 对抗攻击分类
III.A 目标和非目标攻击
根据攻击结果,有两种类型的对抗攻击[56]: 目标攻击和非目标(无差别)攻击。
目标攻击迫使模型将特定的样例或特征空间的特定区域分类到特定的(通常是错误的)类别中。非目标攻击使模型对某些样例或特征空间区域进行错误分类,但不指定它们应该被错分到哪个类别。
例如,在一个3分类问题中,假设类别标签为A、B和C,那么,目标攻击可能会使所有输入都被分为A类。而非目标攻击会使A类输入被分为B类或C类,但不指定它必须是B或C类。只要分类类别不是A类,那么非目标攻击就是成功的。
III.B 白盒、黑盒和灰盒攻击
根据攻击者对目标模型的了解程度,可以有三种攻击类型[88]:
白盒攻击: 在这种攻击中,攻击者知道关于目标模型的所有信息,包括其架构和参数。这是最简单的攻击场景,但可以造成最大的伤害。它可能对应于攻击者是内部人员的情况,或者模型设计者评估模型受攻击时的最坏情况。常用的攻击方法有L-BFGS[77]、DeepFool[59]、C\&W[13]、快速梯度符号法(FGSM)[27]、基本迭代法(BIM)[45]等。
黑盒攻击: 攻击者既不知道目标模型的结构也不知道目标模型的参数,但可以向模型提供输入并观察其输出。这是最现实的、也是最具挑战性的攻击场景。一个例子是,攻击者购买了一个商用BCI系统并试图攻击它。黑盒攻击是可以实现的,这是由于对抗样本的可迁移性[77],即如果两个机器学习模型解决相同的任务,那么由一个机器学习模型生成的对抗样本可以很高的概率欺骗另一个机器学习模型。因此,在黑盒攻击[62]中,攻击者可以多次查询目标模型来构建训练集,利用其训练得到一个替代的机器学习模型,然后从替代模型中生成对抗样本用于攻击原始目标模型。
灰盒攻击: 假设攻击者知道关于目标模型的有限信息,例如,构建目标模型所使用的训练数据。在下一小节中将会介绍,灰盒攻击经常被用于数据污染攻击。
III.C 污染和逃逸攻击
根据对抗攻击针对的阶段,有两种类型的攻击:污染攻击和逃逸攻击。
污染攻击[83]发生在训练阶段,即通过添加污染样例至训练集,从而在机器学习模型中创建后门。它们通常是白盒或灰盒攻击,通过数据注入实现,即将对抗样例添加到训练集[53],或进行数据修改,例如通过修改训练数据的特性或标签来污染训练数据[9]。
逃逸攻击[27]发生在测试阶段,通过在正常测试样本中故意添加设计好的微小扰动来误导机器学习模型。它们通常是白盒或黑盒攻击。EEG分类中的逃逸攻击示例如图5所示。
生理计算中的对抗攻击
大多数对抗攻击研究考虑计算机视觉的应用,其输入是2D图像。生理信号是连续的时间序列,与图像有很大不同。针对时间序列的对抗攻击研究相对较少[41],针对生理信号的研究则更少,如表III所示。
IV.A BCI中的对抗性攻击
攻击BCI中的机器学习模型可能会造成严重的损害,从用户情绪受挫到严重受伤。例如,在癫痫治疗中,对反应性神经刺激RNS[26]中的癫痫识别算法的攻击可能会迅速耗尽其电池或使其完全失效,从而显著降低患者的生活质量。对抗攻击一个基于EEG的BCI拼写器可能会劫持用户的真实输入,从而使拼写器输出错误,导致用户的失望情绪或被误解。在基于BCI的司机瞌睡程度估计中[80],对抗攻击可能使昏昏欲睡的司机被判别为警觉,增加了事故风险。
虽然BCI的研究者已经考虑到了神经安全[38],即"devices getting hacked and, by extension, behavior unwillfully and unknowingly manipulated for nefarious purposes",但目前为止,大多数针对BCI的研究集中于使BCI更快和更准确,很少关注其安全性。
2019年,Zhang和Wu[88]首先指出基于EEG的BCI中存在对抗样本,即BCI中的深度学习模型容易受到对抗攻击。在P300诱发电位检测、反馈错误相关负性检测和运动想象分类三种不同的BCI范式中,他们成功地对EEGNet[47]、DeepCNN和ShallowCNN[73]三种CNN分类器进行了白盒、灰盒和黑盒非目标逃逸攻击。基本思路如图6所示。其基本思想是在EEG信号处理和机器学习之间添加干扰模块,通过无监督FGSM优化生成的对抗样本。产生的对抗扰动幅值很小,肉眼无法察觉(如图5所示),但会显著降低分类精度。
需要注意的是,干扰模块是可实现的,如研究[76]表明,BtleJuice (一个对蓝牙设备执行中间人攻击的框架)可以用来拦截基于EEG的消费级BCI系统的数据,修改它们,然后将它们重新发送回脑机接口系统。
Jiang等[39]重点研究了BCI分类问题中对深度学习模型的黑盒非目标逃逸攻击,其中攻击者训练一个替代模型来近似目标模型,然后从替代模型中生成对抗样本来攻击目标模型。学习一个好的替代模型对于黑盒攻击的成功至关重要,但它需要对目标模型进行大量的查询。Jiang等[39]提出了一种新的基于查询合成的主动学习框架,通过主动合成目标模型决策边界周围的EEG试次,提高查询效率,如图7所示。与原有的黑盒攻击方法[88]相比,基于主动学习的方法可以在相同的查询次数下提高攻击成功率,或者等价地,减少查询次数以达到预期的攻击性能。这是第一个BCI中集成主动学习和对抗攻击的工作。
就像大多数对抗攻击研究一样,以上两项研究只考虑了分类问题。文献中对回归问题的对抗攻击研究要少得多。Meng等 [55]最早进行了针对BCI回归问题的白盒目标逃逸攻击。他们提出了两种方法,分别基于优化和梯度设计微小扰动,让回归输出产生一个预先确定的改变量。在两个BCI回归问题上的实验(基于EEG的驾驶员疲劳估计,和在精神运动警觉性任务中基于EEG的用户反应时间估计)验证了其有效性:这两种方法产生的EEG试次与原始试次非常接近,但可以显著改变BCI回归模型的输出。此外,这两种方法生成的对抗样本也是可迁移的,即在黑盒攻击中,从已知回归模型生成的对抗样本也可用于攻击一个未知的回归模型。
上述三种攻击策略有重要理论意义,但用于现实世界的BCI对抗攻击时存在一些限制:
试次的特异性: 即攻击者需要为不同的EEG试次产生不同的对抗扰动;
通道的特异性: 即攻击者需要对不同的脑电通道产生不同的对抗扰动;
非因果性: 即需要事先知道完整的EEG试次,以计算相应的对抗扰动;
同步性: 为了达到最好的攻击性能EEG,攻击者需要知晓试次确切的开始时间。
最近的一些研究试图克服这些限制。
Zhang等[89]对基于P300和稳态视觉诱发电位(SSVEP)的BCI拼写器(图8)进行了白盒目标逃逸攻击,表明对EEG试次的微小扰动会误导拼写器输出攻击者想要的任何字符,例如将输出从"Y"更改为"N",反之亦然。其方法最显著的特点是在设计对抗扰动时明确考虑了因果关系,即扰动应在目标EEG试次开始前或一开始就产生,以便在实践中实时地将其添加到EEG试次中。为了实现这一点,他们从训练集构造了一个固定对抗扰动模板。因此,攻击者不需要知道测试EEG试次并专门计算扰动。他们的方法解决了试次特异性和非因果性约束,但不同的EEG通道仍然需要不同的扰动,并且还要求攻击者事先知道EEG试次的开始时间,以达到最佳的攻击性能,即仍然存在通道的特异性和同步性约束。
Zhang等[89]考虑了对传统的、最常用的BCI拼写器流程进行目标攻击。该流程有单独的特征提取和分类步骤。Liu等[49]考虑了对基于EEG的BCI中端到端深度学习模型的目标和非目标白盒逃逸攻击,并提出了一种总损失最小化(TLM)的方法来生成通用对抗扰动(UAP)。实验结果表明,该方法在三种脑机接口范式(P300、反馈错误相关负性和运动想象)中的EEGNet、ShallowCNN和DeepCNN分类器上均有效。他们还验证了UAP在非目标灰盒逃逸攻击中的可迁移性。
为了进一步简化TLM-UAP的实现,Liu等[49]还考虑了更小的模板尺寸,即具有部分通道和时域样本的mini TLM-UAP,其可以添加到EEG试次的任何地方。mini TLM-UAPs更实用、更灵活,因为它们不需要攻击者知道脑电图通道的确切数量以及脑电图试次的确切长度和开始时间。Liu等[49]研究表明,一般情况下,所有mini TLM-UAPs均有效。然而,当使用的通道数量和/或模板长度减少时,它们的有效性降低,这是很容易理解的。这是第一个在基于EEG的BCI中对CNN分类器的通用对抗攻击研究,也是最早的基于优化的通用对抗扰动目标逃逸攻击研究。
总之,TLM-UAP方法[49]解决了试验特异性和非因果性约束,而mini TLM-UAP进一步缓解了通道特异性和同步性约束。以上研究都考虑逃逸攻击。Meng等[54]首次表明,基于EEG的BCI也可以进行污染攻击,如图9所示。他们提出了一个可物理实现的后门密钥 (窄周期脉冲),可以在信号采集期间添加到正常的EEG信号中,并证明了其在黑盒目标污染攻击中的有效性,即攻击者不知道任何关于测试EEG试次的信息 (包括其起始时间) 并希望将其分到一个特定的类别。换句话说,该方法同时解决了试次特异性、通道特异性、因果性和同步性约束。据我们所知,这是迄今为止最实用的BCI攻击方法。
基于EEG的BCI中现有的对抗性攻击方法的总结对比如表IV所示。
IV.B 健康信息学中的对抗攻击
在健康信息学中,对抗攻击也可能造成严重损害,甚至死亡。例如,对植入式复律除颤器中的机器学习算法进行对抗攻击,可能导致不必要的痛苦的电击,损害心脏组织,甚至更糟的会导致治疗中断和猝死[61]。
Han等[32]提出了目标和非目标的白盒逃逸攻击方法,以构建平滑的心电对抗样本,这些样本对经认证的医学专家和心脏电生理专家来说都是不可区分的,但可以成功地欺骗用于心律失常检测的CNN分类器。他们对AliveCor个人心电监护仪采集的单导联心电图进行房颤分类,获得了74%的攻击成功率 (在对抗攻击后,最初正确分类的测试心电图中有74%被分配到不同的诊断)。这项研究表明,在将心电图用于医学机器学习模型之前,检查心电图是否发生了改变是很重要的。
Aminifar[2]通过通用对抗扰动研究了基于EEG的癫痫发作检测中的白盒目标逃逸攻击。通过解决一个优化问题来计算通用对抗扰动,并表明它们可以欺骗支持向量机分类器,隐蔽地将大多数癫痫样本错分类为非癫痫样本。
Newaz等[60]研究了基于机器学习的智能医疗系统的对抗攻击,包括10个生命体征,如脑电图、心电图、动脉血氧饱和度、呼吸、血压、血糖、血红蛋白等。他们进行了目标和非目标攻击,以及污染和逃逸攻击。对于逃逸攻击,他们也考虑了白盒和黑盒攻击。研究表明,对抗攻击会显著降低智能健康系统中四种不同分类器在检测疾病和正常活动方面的性能,这可能导致错误的治疗。
深度学习在健康信息学得到了广泛的应用,但通常需要大量的训练数据才能取得满意的性能。迁移学习[82]可以通过使用来自辅助域或任务的数据或机器学习模型来缓解这一需求。Wang等[79]利用预先训练的深度学习模型在图像和时间序列(如心电图)上研究了针对迁移学习的目标后门攻击。采用基于排序的神经元选择、自动编码器驱动的触发生成和防御感知的再训练三种优化策略生成后门并对深度神经网络进行再训练,以击败基于剪枝、基于微调/再训练和基于输入预处理的防御。他们证明了其在脑MRI图像分类和心电类型分类中的有效性。
IV.C 生物辨识中的对抗攻击
生理信号,如EEG、ECG和PPG,最近已被用于生物辨识中[75]。在这样的应用中,它们会受到表示攻击。在基于生理信号的呈现攻击中,攻击者试图用假生理信号[20]来欺骗生物传感器,使其被验证为来自特定的受害者用户。
Maiorana等[51]研究了基于脑电的生物识别系统对爬山攻击的脆弱性。他们假设攻击者可以访问生物识别系统的匹配分数,然后用来指导脑电模板的生成,直到身份验证成功。在对抗攻击术语中,这实际上是一种黑盒目标逃逸攻击:合成的脑电信号是对抗样本,受害者的身份是目标类。这是一个黑盒攻击,因为攻击者只能观察生物识别系统的输出,但对其他内容一无所知。
Eberz等[20]提出了一种离线心电生物识别表示攻击方法,如图10(a)所示。其基本思想是找到一个映射函数来变换攻击者记录的ECG试次,使它们类似于特定受害者的ECG试次。变换后的ECG试次可以用来欺骗ECG生物识别系统,以获得未经授权的访问。结果表明,攻击者的ECG试次可以从不同于记录受害者ECG试次的设备(即交叉设备攻击)获得,并且可以有不同的方法将变换后的ECG试次呈现给受攻击的生物识别设备,最简单的方法是使用现成的音频播放器播放编码为.wav文件的ECG试次。
与[51]不同,上述方法在对抗攻击术语中是一种灰盒目标逃逸攻击:攻击者的心电信号可以看作是正常样例,变换后的心电信号为对抗样本,受害者的身份为目标类。在图6中,映射函数起到干扰模块的作用。这是一种灰盒攻击,因为攻击者在设计映射函数时需要知道受害者心电图的特征分布。
Karimian等[42]提出了一种在线心电图生物识别表示攻击方法,如图10(b)所示。它的过程与图10(a)中的离线攻击非常相似,但是更简单,因为该方法只需要受害者的一个心电片段来计算映射函数,而且映射函数是线性的。Karimian[43]也提出了一种类似的表示攻击方法来攻击基于PPG的生物识别。同样,这些方法可以被视为灰盒目标逃逸攻击。
IV.D 讨论
虽然我们还没有在生理计算中发现关于情感计算和自适应自动化的对抗攻击研究,但这并不意味着在该领域不能进行对抗攻击。情感计算和自适应自动化中的机器学习模型与BCI中的模型并无区别;因此,BCI中的对抗攻击可以很容易地应用于情感计算和自适应自动化。
特别是,Meng等[55]已经表明,在基于脑电的驾驶员疲劳估计和基于脑电的用户反应时间估计中,可以对回归模型进行攻击,而驾驶员疲劳和用户反应时间可能是自适应自动化的触发因素。
对抗攻击防御
常见的对抗攻击防御策略有[7,67]:
数据修正: 通过对抗训练[77]、梯度隐藏[78]、可迁移性阻断[34]、 数据压缩[17]、数据随机化[84]等,对训练阶段的训练集或测试阶段的输入数据进行修改。
模型修正: 即直接修改目标模型以提高其鲁棒性。可以通过正则化[9]、防御蒸馏[63]、特征压缩[85]、使用深度收缩网络[29]或掩模层[25]等来实现。
辅助工具: 可能是附加的辅助机器学习模型,增强原始模型的鲁棒性,如对抗攻击检测模型[66],或防御生成对抗网(defense-GAN)[72]、高级别表示引导降噪器[48]等。
由于生理计算中对抗攻击研究刚刚开始,对其防御策略的研究更少,如表V所示。
V.A 对抗训练
对抗训练,即在正常和对抗样本上训练鲁棒的机器学习模型,可能是目前最流行的基于数据修正的对抗攻击防御方法。
Hussein等[35]提出了一种利用对抗训练增强深度学习模型的方法,以实现对癫痫发作的鲁棒的预测。尽管他们的目标是克服基于EEG的癫痫发作分类中的一些挑战,例如个体差异和发作前标记数据的缺乏,但该方法也可以用来防御对抗攻击。
他们首先利用现有的有限数量的带标签的脑电数据构建深度学习分类器,然后对分类器进行白盒攻击,获得对抗性样本,然后将这些样本与原始的带标签数据结合,对深度学习分类器进行再训练。在两个公共癫痫数据集上的实验表明,对抗训练提高了分类精度和分类器的鲁棒性。
V.B 模型修正
基于正则化的模型修正可防御对抗攻击,通常也考虑优化目标函数过程中的模型安全性(鲁棒性)。
Sadeghi等[71]提出了一种调整分类器参数的分析框架,以同时确保其准确性和安全性。通过求解优化问题确定最优分类器参数,该参数既考虑了测试精度,又考虑了对抗攻击的鲁棒性。对于k近邻(kNN)分类器,需要优化的两个参数是近邻的数量和距离度量类型。基于EEG的眼状态(睁或闭)识别实验表明,该方法能够达到较高的分类精度,又对黑盒目标逃逸攻击有较高的鲁棒性。
V.C 对抗检测
对抗检测使用一个单独的模块来检测是否存在对抗攻击,并采取相应的行动。最简单的方法是直接丢弃对抗样本。
Cai和Venkatasubramanian[11]提出了一种基于信号注入的心电图形态改变(逃逸攻击)检测方法。由于基于相同潜在生理过程(例如心脏过程)的多个生理信号本质上是相互关联的,因此其中任何一个信号的对抗改变都会产生与组中其他信号的不一致。由于心电图和动脉血压测量都是心脏过程的表征,所以后者可用于检测心电图的形态学改变。他们证明在检测健康受试者和患者的ECG形态学变化时,准确率超过90%。一个类似的想法[10]是利用它们与动脉血压和呼吸测量的相关性来检测心电图的时间变化。
Karimian等[42]通过评估心电信号特征是否与相应的心率变异性或PPG特征(脉冲传输时间和脉冲到达时间)匹配,提出了两种策略来保护心电生物特征认证系统不受欺骗。如果存在不匹配,则系统认为输入是假的,并拒绝它。这个想法实际上与Cai和Venkatasubramanian[11]的工作相似。
总结和展望
生理计算包括脑机接口、情感计算、自适应自动化、健康信息学和基于生理信号的生物辨识。它增加了用户与计算机之间的通信带宽,但也容易受到对抗攻击。本文对生理计算中的对抗攻击及其防御策略进行了全面的综述,以期引起对生理计算系统安全性的关注。
该领域未来有前景的研究方向包括:
迁移学习被广泛应用于生理计算中[82],利用其他用户[33]或任务[81]的数据来缓解训练数据短缺的问题,或者借用现有算法的参数或知识来热启动(深度)学习算法的训练[79],如图11所示。然而,迁移学习对污染攻击尤其敏感[54,79]。在迁移学习中使用数据和模型之前,制定检查数据和模型完整性的策略是非常重要的。
对机器学习流程中的其他组件的对抗性攻击(图12显示了BCI的一个样例),包括信号处理、特征工程和分类/回归,以及相应的防御策略。到目前为止,在生理计算中所有的对抗攻击方法都只考虑了分类或回归模型,而没有考虑其他的组件,如信号处理和特征工程。已有研究表明,特征选择也易受数据污染攻击影响[83],对抗性特征选择可以用来防御逃逸攻击[87]。
生理计算中其他的攻击类型[7,12,19,65,70],以及相应的防御策略,如图13所示。例如,Paoletti等[61]对Boston Scientific公司的植入式心律复律除颤器进行了参数干扰攻击,该除颤器使用判别树来检测心动过速发作,然后开始适当的治疗。他们对判别树的参数进行了轻微的修改,以达到攻击的有效性和隐匿性。这些攻击在生理计算中也是非常危险的,因此值得注意。
对于情感计算和自适应自动化应用的对抗攻击虽然还没有被研究过,但也是可能的和危险的。在脑机接口、健康信息学和生物辨识中,许多现有的攻击方法可以直接或稍加修改扩展到上述领域。然而,针对这些领域也可能有独特的攻击方法。如情感计算[52]中,情感往往用效价度、激活度和优势度的三维空间中的连续数字来表示,因此对情感计算中的回归模型对抗攻击应引起足够的重视。
最后,我们需要强调的是,生理计算中对抗攻击研究的目标应该是发现其漏洞,然后找到解决方案,使其更加安全,而不是对其造成损害。
版权声明
文章经伍教授授权分享,仅用于学术交流,不用于商业行为,
转载请联系后台;若有侵权及疑问,请后台留言,管理员即时删侵!
更多阅读
临港实验室、上海脑科学与类脑研究中心 脑机接口平台联合招聘公告
投资火热的脑机接口行业,如何解行业标准缺失之局?| 红杉医疗行研